RSIPO：技能与策略共进化的递归自改进Agent强化学习
🧭 Agent 强化学习 · 技能-策略共进化 ★ 深度解读
CUHK · THU · NUS · Tongji University · UW-Madison
用重放增益奖励技能生成并以经验贝叶斯校准教师信任，实现技能-策略共进化
📌 工作参考价值（4 点）
- 可借鉴「执行检查」机制到购物/搜索 Agent 技能库更新：让 Agent 从自身轨迹中改写技能，用同一初始状态下带技能重放 vs 无技能控制组的效用差作为 reward，不依赖外部 judge 模型或额外标注数据，特别适合可重置的仿真购物、离线检索沙盒。
- Type-level empirical Bayes shrinkage 对任务级重放增益降噪后再映射为教师信任系数 ωx，可直接替代 OPSD/蒸馏中均匀信任权重；电商场景中不同品类/任务类型难度差异大，按类型池化增益能减少不可靠教师信号对策略的损害。
- 对可重置环境可低成本采纳，但线上不可重置环境需额外处理；重放增加 K 次 rollout 与训练成本，可考虑只在部分任务上做执行检查、用早停或小 K 控制开销。
- 技能 reward 用「该技能增益 - 同类型平均增益」做中心化，避免绝对增益偏差，适合在在线技能更新中稳定策略梯度；无效技能用固定惩罚 ρ，且搜索类任务可设 ρ=0 防止格式不稳定。
路由化 3D 特权蒸馏提升视觉语言模型空间推理
🧭 VLM 空间推理 · 特权蒸馏
浙江大学
将深度、语义、BEV 等 3D 几何线索作为特权，在 GRPO 中对错误轨迹做路由化蒸馏，提升 VLM 空间推理且部署保持仅 RGB
📌 工作参考价值（4 点）
- 借鉴「特权信息蒸馏」思路：训练时引入部署时不可用的 3D 几何、商品属性、用户行为后验等特权信号作为教师，通过 KL 蒸馏到仅 RGB/文本输入的在线模型，在不增加推理延迟的前提下提升空间推理或多模态判断能力，尤其适合电商图像中的家具尺寸、商品摆放、场景布局理解。
- 借鉴「仅对错误轨迹施加特权 KL」的稀疏监督：在 RLVR/GRPO 流程中，只对模型出错的样本做特权蒸馏，能更高效利用稀疏错误信号，降低训练开销并改善收敛稳定性；推荐/Agent 系统中也可以只对失败案例蒸馏专家/特权信息。
- 借鉴「问题条件路由」：按问题内容只注入相关几何线索（如当前问的是距离则只给深度，问的是方向则给 BEV），而非全量上下文，避免冗余信息稀释注意力；可迁移到 Agent 或推荐模型中对多源特征的按需路由与融合。
- 多种特权可以互补：答案特权和几何特权叠加优于单一特权，业务上可同时蒸馏商品属性、用户反馈、场景 3D 等多类特权，进一步压缩模型与真实环境的信息差。
更好的监督在邻近：邻域在线策略自蒸馏
🧭 LLM 推理训练 · 自蒸馏
The Chinese University of Hong Kong, Shenzhen · Meituan, LongCat Team · Peking University · University of Toronto
用局部参数扰动构建专家池并按状态路由，为在线自蒸馏提供更优监督，平均提升 1.67~2.75 点
📌 工作参考价值（4 点）
- 训练电商/Agent 场景下的 LLM 推理型任务（query 改写、推荐解释、工具调用规划）时，可借鉴 N-OPSD：保留多个邻近参数的冻结专家，按状态路由提供多样但参考对齐的监督，避免单一 teacher 覆盖不足。
- 离线专家池构建的贪心选择准则（filtered reference-token gains 超过池当前最佳）可作为通用监督选择指标：只保留能在不同前缀位置提供增量校正的专家，压缩池规模、降低训练成本。
- 路由时分离 anchor direction 与 support level（MaxPeak 选 token，quantile 选专家）值得借鉴到多策略/多专家生成式推荐：不要只选置信度最高（highest peak）的策略，而要选 top token 一致且分布支撑更稳的专家作为训练目标。
- 用 clipped forward-KL 从专家完整 next-token 分布学习，比只学 hard label 更平滑，适合生成式推荐中 Semantic ID 或多 token 决策序列的蒸馏；推理只部署学生，不增加线上成本。
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。
DASH：发散自适应监督视野的在线策略自蒸馏
🧭 蒸馏训练 · 推理优化
Institute of Automation, Chinese Academy of Sciences · EverMind · Shanda Group · University of Chinese Academy of Sciences · Wuhan AI Research
提出DASH，根据局部发散与序列均值的差异自适应调整token级蒸馏权重，提升推理模型在线策略自蒸馏效果
📌 工作参考价值（4 点）
- 在推荐/广告场景的生成式模型训练中（如Semantic ID生成），若采用教师-学生在线蒸馏，可引入 DASH 的自适应门控机制，根据生成过程中每个token的偏差程度动态调整蒸馏损失权重，避免对所有token同等对待。
- 该方法不增加额外前向计算，仅复用已有的教师和学生分布，工程实现成本低，适合在已有OPSD流程中快速叠加。
- 对于使用RLVR训练推荐Agent的场景，可将 DASH 作为token级奖励塑形的一种手段，结合 KL 散度权重自适应调整，平衡探索与利用。
- 核心 trick：构建局部发散与全局均值的 gap 作为门控信号，可通过 simple 的递归聚合实现，无需复杂时序模块，易于部署。
推理枢轴引导的在线策略自蒸馏实现多语言推理迁移
🧭 训练策略 · 推理枢轴引导 ★ 深度解读
National Key Laboratory for Novel Software Technology, Nanjing University
通过对比有无英文参考解答的教师分布，定位推理枢轴并引导特权蒸馏，提升多语言数学推理能力
📌 工作参考价值（4 点）
- 关键 token 定位：在序列生成任务（如推荐理由、搜索 query 改写、商品摘要）中，可利用两个视图（有无特权上下文）的分布差异，自动识别影响下游推理/决策的关键 token，不必依赖人工标注。
- 蒸馏权重分配：借鉴 PRS 得分与 RPT 门控，在模型蒸馏时将监督信号集中到“推理枢轴”token（如逻辑连词、状态更新词），避免在表面填充词上浪费容量，提升跨领域迁移效率。
- 语言风格锚定：引入冻结参考策略进行锚定损失，可在多语言推荐或广告文案生成中，既注入外部知识（如英文产品描述）又不破坏目标语言的流畅度，缓解 RL 或蒸馏带来的语言退化。
- 训练稳定性：门控分数来自同一模型的两个视图对比，无需额外教师网络，且运行时统计归一化适应不同训练阶段，可降低工程部署复杂度，适合在线蒸馏场景。
渐进式经验演化实现LLM自我提升
🧭 LLM自我演化 · 经验蒸馏与RL混合 ★ 深度解读
Renmin University of China · Tencent Inc.
统一显式经验演化与隐式RL优化的两阶段后训练框架，通过全局经验池萃取可迁移知识并内部化，提升数学推理与数据效率
📌 工作参考价值（4 点）
- 全局经验池与演化：在推荐或Agent中，可维护一个经验池，从成功/失败交互轨迹中抽象可复用策略（如用户偏好模式、失败原因），并定期合并、去重、演化，减少冗余和冲突经验。
- 特权引导自蒸馏(OPSD)：推荐模型在线更新时，可用历史优质决策作为特权信息构造 teacher，对当前策略进行 on-policy 蒸馏，既保留行为多样性又注入有效先验。
- 两阶段优化提升数据效率：先用经验蒸馏初始化模型，降低全部采样错误的比例，再应用 GRPO 等 RL 算法，可大幅减少无效探索，适合在线广告/推荐中低反馈场景。
- 经验效用验证机制：用探针集评估每条经验的边际收益，可过滤低质量经验；在推荐系统策略迭代中，可类似评估新增规则或策略是否带来正向增量。
DemoPSD：基于分歧调制的策略自蒸馏
🧭 LLM自蒸馏与探索保持 ★ 深度解读
City University of Hong Kong · Tsinghua University · Shenzhen University of Advanced Technology · Chinese University of Hong Kong, Shenzhen
通过自适应混合教师与学生分布的反向KL重心目标，缓解特权信息泄露并保持探索能力
📌 工作参考价值（4 点）
- 自适应蒸馏强度：当教师模型（带特权信息）与学生模型（无特权信息）的 token 级分布出现较大分歧时，自动降低教师信号的权重（通过 α_t 控制），避免学生学到不可迁移的捷径。这一 trick 可直接迁移到搜索/推荐中的蒸馏场景，例如知识蒸馏精排模型时，若教师模型访问了后验特征（如点击后行为），可对分歧大的样本或位置减弱蒸馏力度。
- 保持策略熵防止坍缩：DemoPSD 训练过程中保持了比 SDPO 高 33-98% 的策略熵，从而保留了探索能力，提升 best@16 效果。在强化学习推荐或对话策略训练中，可以借鉴这种通过调整蒸馏目标来维持策略多样性、避免过早收敛到次优解的方法。
- 反向KL重心作为蒸馏目标：使用 π_target ∝ (π_teacher)^{1-α}·(π_student)^α 的几何混合替代直接匹配教师分布，比算术平均能产生更锐利且规避模式坍塌的训练信号。对于多任务推荐模型蒸馏，可以类似地对不同任务专家模型的 logits 做几何加权，兼顾多目标。
- EMA 参考模型稳定训练：计算分歧时使用学生模型的指数移动平均副本作为参考，避免训练不稳定。在在线学习或持续自蒸馏的推荐系统中，引入 EMA 教师可以平滑目标，减少噪声干扰。